Vision as Unified Multimodal Generation
视觉即统一多模态生成
🧭 视觉任务统一为多模态指令生成
SenseTime Research · Nanyang Technological University · The Chinese University of Hong Kong · Peking University · Shanghai Jiao Tong University
将异构视觉任务统一为多模态生成，单一模型通过指令输出文本或图像，匹配专家系统
📌 工作参考价值（4 点）
- 统一生成范式可迁移至电商推荐：将召回、排序、解释等任务统一为自然语言指令驱动的多模态生成，降低多任务工程开销。
- 指令与视觉提示机制可直接用于多模态搜索Agent：允许用户通过自然语言和区域/属性提示灵活指定需求，模型输出文本或结构化推荐结果。
- 异构标注转指令数据集的方法可复制到推荐场景：将点击、购买、评论等行为数据转化为指令-回答对，支持推荐模型的指令微调。
- 从预训练多模态模型出发，混合任务数据保持能力的训练策略，适合构建兼具通用知识与业务专长的推荐Agent。